
\newpage
\vspace*{-1.1\baselineskip}
\section{相关理论}

\subsection{交通节点特征时空预测方法}
\subsubsection{基于Transformer的方法}
Transformer模型因其强大的并行处理能力和序列建模能力，在交通流预测中逐渐成为重要工具 \cite{vaswani2017attention}。与传统的统计模型（如ARIMA和VAR）相比，Transformer通过自注意力机制（Self-Attention Mechanism）能够全局建模长时间序列中的依赖关系，同时整合多维度时空特征，适用于交通流量预测、旅行时间预测和城市拥堵模式分析等任务。例如，Traffic Transformer引入了七种不同的时间编码机制，用于处理时间序列数据中的连续性和周期性特征 \cite{cai2020traffic}。这些编码帮助模型更准确地捕捉每日和每周的重复模式，并结合图卷积网络（GCN）建模交通网络中的空间依赖性。自注意力机制还能够识别数据特征的重要性，帮助模型理解突发事件（如交通事故或节假日）对交通流的影响，从而提高预测精度。

GMAN模型 \cite{Zheng_Fan_Wang_Qi_2020} 进一步扩展了Transformer的应用，通过引入图多头注意力网络（Graph Multi-Attention Network, GMAN），利用编码器-解码器架构和多个时空注意力块，有效建模时空因素对交通状况的影响。STAEformer \cite{liu2023staeformer} 则提出了一种基于时空自适应嵌入的新方法，通过自适应嵌入层动态调整嵌入权重，更好地捕捉交通网络中节点之间的动态关系。与Traffic Transformer依赖固定时间编码不同，STAEformer采用自适应机制实时学习交通网络中的时空模式变化，在处理复杂交通数据时表现更加稳定，尤其是在大规模长期预测任务中，减少了多步预测中的误差累积，提升了预测效果。

\subsubsection{基于循环神经网络的方法}

循环神经网络（RNN）及其变体（如长短期记忆网络LSTM \cite{hochreiter1997long} 和门控循环单元GRU \cite{cho-etal-2014-properties}）在交通流预测中得到了广泛应用。RNN通过其循环结构能够有效捕捉时间序列中的短期和长期依赖关系，特别适用于交通数据的时序建模。GRU通过更新门和重置门机制调节信息流，具有计算效率高、结构简单的优点，被广泛用于交通流量预测和旅行时间估计等任务 \cite{dey2017gate}。

然而，RNN方法主要关注时间依赖性，对交通网络中的空间关系建模能力有限。为了提升时空建模能力，研究者提出了将RNN与图卷积网络（GCN）结合的方法。例如，DCRNN模型 \cite{li2018dcrnn_traffic} 将扩散卷积与GRU结合，捕捉非欧几里得空间中的扩散动态，更好地建模相邻节点之间的时空传播关系。T-GCN模型 \cite{zhao2019t} 则利用GCN学习复杂的空间拓扑结构，同时使用GRU捕捉交通流的动态变化，适用于城市路网中的交通预测。此外，MegaCRN \cite{jiang2023spatio} 引入了元学习框架，动态生成图卷积权重矩阵，并结合循环网络处理时间依赖性，增强了模型对交通节点特征的个性化建模能力。

\subsubsection{基于图学习方法}

图学习方法在交通节点时空预测中发挥了重要作用，特别是在建模交通网络中的空间依赖性方面。早期的图学习方法通常依赖于道路网络的自然拓扑结构或基于预定义度量的静态图结构 \cite{ijcai2018p505, li2018dcrnn_traffic}。然而，静态图结构难以适应交通流随时间变化的动态特性。

为了解决这一问题，GW-Net \cite{ijcai2019p264} 引入了自适应图学习方法，通过两个可学习的嵌入矩阵动态生成图结构，使模型能够根据实时交通数据调整节点关系，从而更好地捕捉时空依赖性。AGCRN \cite{bai2020adaptive} 进一步提出了节点特定的卷积滤波器，使每个节点在卷积过程中能够更好地表征其特征。CCRNN \cite{ye2021coupled} 则通过多层图卷积学习多个自适应图，捕捉不同层次的时空依赖性。StemGNN \cite{cao2020spectral} 结合自注意力机制，从输入数据中动态学习潜在的图结构，提供了更灵活的时空依赖建模能力。

近年来，动态图学习方法取得了显著进展。DGCRN \cite{li2023dynamic} 通过超网络生成动态邻接矩阵，进一步增强了模型的动态性和预测性能。D2STGNN \cite{10.14778/3551793.3551827} 提出了解耦的时空框架，分别建模交通数据中的扩散信号和固有信号，提升了交通流动态预测的精度。这些方法展示了动态图学习在交通流预测中的巨大潜力，使模型能够灵活调整图结构以适应不断变化的交通数据，为高精度交通预测奠定了坚实基础。

\subsection{针对交通信号控制的强化学习方法}



\subsubsection{深度强化学习}
深度强化学习（Deep Reinforcement Learning, DRL）通过利用高度表达的深度神经网络处理复杂的高维状态，显著推动了交通信号控制（Traffic Signal Control, TSC）领域的发展。早期的研究方法如SARSA \cite{thorpe1996tra} 和表格Q学习 \cite{abdulhai2003reinforcement} 通过离散状态表示解决了简化的TSC问题，为后续研究奠定了基础。随着DRL的发展，更复杂的方法如IntelliLight \cite{wei2018intellilight}、FRAP \cite{zheng2019learning}、PressLight \cite{wei2019presslight}、AttendLight \cite{oroojlooy2020attendlight}、Efficient-XLight \cite{wu2021efficient}、DynamicLight \cite{zhang2022dynamiclight} 和 DuaLight \cite{lu2023dualight} 等，利用深度学习动态优化交通信号配时，在交通仿真环境中展现了优异的性能。这些方法通过集中训练分散执行（CTDE）框架，实现了从单路口到大规模路网的信号控制扩展，展示了DRL在TSC中的巨大潜力。
然而，尽管DRL方法在仿真环境中表现优异，其在实际部署中仍面临诸多挑战。大多数基于DRL的TSC方法采用固定时长的动作空间，难以根据实时交通状况动态调整信号相位时长，限制了模型在实际场景中的适用性。例如，CycLight \cite{han2024cyclight} 提出了一种基于参数化深度Q网络（P-DQN）的周期级策略，能够同时优化周期长度和相位分配，提升了相位时长的灵活性。尽管如此，该方法仍依赖于周期性的相位结构，无法完全支持实时自适应信号控制。未来的研究需要进一步开发更具动态性和适应性的DRL模型，以有效应对实时交通变化，并整合公平性准则（如FSPPO算法 \cite{li2023fully}），确保所有驾驶员的等待时间均衡。


\subsubsection{混合动作空间强化学习}
混合动作空间强化学习通过结合离散和连续动作空间，解决了传统单一动作空间的局限性，成为交通信号控制领域的一种重要方法。Q-PAMDP通过交替训练动作选择过程和连续参数选择过程，学习如何选择带有连续参数的动作，并使用Q-PAMDP(1)和Q-PAMDP($\infty$)表示策略网络的不同更新频率 \cite{masson2016reinforcement}。PA-DDPG扩展了深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）算法，通过将动作空间松弛为连续集，并采用梯度归零、压缩和反转等方法限制动作空间的梯度范围，从而处理混合动作空间 \cite{Casas2017DeepDP}。MP-DQN通过并行批处理将动作参数分配给Q网络，减少了单一离散动作对其他连续动作参数的影响，解决了P-DQN中参数过多的问题 \cite{zhang2021attentionlight}。H-PPO基于近端策略优化（Proximal Policy Optimization, PPO）架构，提出了混合动作空间中的演员-评论家结构，通过多个并行的子演员网络同时处理离散和连续动作，并利用全局评论家网络更新策略 \cite{HPPO2024}。

这些方法共同提升了强化学习在需要离散和连续动作的环境中的灵活性和有效性，展示了在交通信号控制等应用中的显著改进。例如，DynamicLight \cite{zhang2022dynamiclight} 和 H-PPO \cite{HPPO2024} 均采用了CTDE框架，支持多路口的异步决策。DynamicLight基于Dueling DQN，使用单一代理预测运行时参数，并通过两个模型分别提供离散动作和时间参数。相比之下，H-PPO利用多代理架构扩展了PPO算法，通过多个策略头近似参数化动作，使得一个模型提供离散动作，另一个模型基于所选动作优化参数，从而直接在混合动作空间中进行优化。尽管这些方法取得了显著进展，但由于其两阶段决策过程（即离散动作选择未考虑动作参数），在混合动作空间决策中仍面临挑战。